篇首语：本文由编程笔记#小编为大家整理，主要介绍了ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！相关的知识，希望对你有一定的参考价值。
在现网环境下&＃xff0c;面对多台服务器产生的大量日志&＃xff0c;会给我们运维人员产生大量困难&＃xff0c;面对日志量太大如何归档、搜索定位过慢、多维度查询、集中化管理等多个困难&＃xff0c;常见解决方案是集中日志收集&＃xff0c;将所有节点的日志统一收集、管理、访问。而日志服务器对日志的分析较为困难&＃xff0c;因此ELK的日志分析系统的模式就是我们常见的解决方案。
ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合&＃xff0c;三者通常是配合共用&＃xff0c;而且又都先后归于 Elastic.co 公司名下&＃xff0c;故有此简称。
Elasticsearch是一个基于Lucene的搜索服务器。它基于RESTful web接口提供了一个分布式多用户能力的全文搜索引擎。
Elasticsearch是用Java开发的&＃xff0c;并作为Apache许可条款下的开放源码发布&＃xff0c;是第二流行的企业搜索引擎。设计用于云计算中&＃xff0c;能够达到实时搜索&＃xff0c;稳定&＃xff0c;可靠&＃xff0c;快速&＃xff0c;安装使用方便。
Elaisticsearch是一个接近实时的搜索平台&＃xff0c;这意味着&＃xff0c;
从索引一个文档直到这个文件能够被搜索到有一个轻微的延迟&＃xff08;通常是1秒&＃xff09;
一个集群就是由一个或多个节点组织在一起&＃xff0c;它们共同持有你整个数据&＃xff0c;并一起提供索引和搜索功能。
其中一个节点为主节点&＃xff0c;这个主节点是可以通过选举产生的&＃xff0c;并提供跨节点的联合索引和搜索的功能。
集群有一个唯一性标示的名字&＃xff0c;默认是elasticsearch&＃xff0c;一个集群可以只有一个节点。
强烈建议在配置elasticsearch时&＃xff0c;配置成集群模式。
ES具有集群机制&＃xff0c;节点通过集群名称加入到集群中。
同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)。
一个索引就是一个拥有几分相似特征的文档的集合。比如说&＃xff0c;你可以有一个客户数据的索引&＃xff0c;另一个产品目录的索引&＃xff0c;还有一个订单数据的索引。一个索引由一个名字来标识&＃xff08;必须全部是小写字母的&＃xff09;&＃xff0c;并且当我们要对对应于这个索引的文档进行索引、搜索、更新、删除时&＃xff0c;都要使用到这个名字。在一个集群中&＃xff0c;如果你想&＃xff0c;可以定义任意多的索引。
索引相对于关系型数据库的库
索引&＃xff08;库&＃xff09;–>类型&＃xff08;表&＃xff09;–>文档&＃xff08;记录&＃xff09;
在一个索引中&＃xff0c;可以定义一种或多种。一个类型是你的索引的一个逻辑上的分类/分区&＃xff0c;其语义完全由你定义。通常会为具有一组共同字段的文档定义为一个类型。比如说&＃xff0c;我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中&＃xff0c;你可以为用户数据定义一个类型
类型相对于关系型数据库的表
一个文档是一个可被索引的基础信息单元。比如&＃xff0c;你可以拥有某一个客户的文档&＃xff0c;某一个产品的一个文档&＃xff0c;也可以拥有某个订单的一个文档。文档以JSON&＃xff08;Javascript Object Notation&＃xff09;格式来表示&＃xff0c;而JSON是一个到处存在的互联网数据交互格式。
在一个Index/type里面&＃xff0c;可以存储任意多的文档。虽然一个文档在物理上位于一个索引中&＃xff0c;时加上一个文档必须在一个索引内被索引和分配一个类型。
在实际情况下&＃xff0c;索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上&＃xff0c;或者从单个节点搜索请求太慢了。为解决这个问题&＃xff0c;elasticsearch提供将索引分成多个分片的功能。当创建索引时&＃xff0c;可以定义想要分片的数量。每一个分片就是一个全功能的独立索引&＃xff0c;可以位于集群中的任何节点上。
分片的两个主要原因&＃xff1a;
水平分割扩展&＃xff0c;增大存储量
分布式并行跨分片操作&＃xff0c;提高性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的&＃xff0c;这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至&＃xff0c;为了健壮性&＃xff0c;强烈建议要有一个故障切换机制&＃xff0c;无论何种故障以防止分片或者节点不可用。
为此&＃xff0c;elasticsearch让我们将索引分片复制一 份或多份&＃xff0c;称之为分片副本或副本。
●副本也有两个最主要原因&＃xff1a;
a、高可用性&＃xff0c;以应对分片或者节点故障。出于这个原因&＃xff0c;分片副本要在不同的节点上。
b、xxx能&＃xff0c;增大吞吐量&＃xff0c;搜索可以并行在所有副本上执行。
总之&＃xff0c;每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了&＃xff0c;每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分月和副本的数量可以在索引创建的时候指定。在索引创建之后&＃xff0c;你可以在任何时候动态地改变副本的数量&＃xff0c;但是你事后不能改变分片的数量。
默认情况下&＃xff0c;Elasticsearch中的每 个索引被分片5个主分片和1个副本&＃xff0c;这意味着&＃xff0c;如果你的集群中至少有两个节点&＃xff0c;你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝)&＃xff0c; 这样的话每个索引总共就有10个分片。
一款强大的数据处理工具。Logstash由JRuby语言编写&＃xff0c;基于消息(message based)的简单架构&＃xff0c;并运行在Java虚拟机(JVM)上。 不同于分离的代理端(agent)或主机端(server) &＃xff0c;LogStash可配置单一的代理端(agent) 与其它开源软件结合&＃xff0c;以实现不同的功能。
一个针对Elasticsearch的开源分析及可视化平台。搜索、查看存储在Elasticsearch索引中的数据。通过各种图表进行高级数据分析及展示
| 主机名称 | 操作系统 | IP地址 | 安装包 |
|---|---|---|---|
| node1 | CentOS7.6 | 内网&＃xff1a;192.168.40.80 | Elasticsearch/Kibana |
| node2 | CentOS7.6 | 内网&＃xff1a;192.168.40.81 | Elasticsearch |
| apache | CentOS7.6 | 内网&＃xff1a;192.168.40.88 | httpd / Logstash |
| 宿主机 | windows10 | 192.168.40.1 | / |
因为集群是根据服务器名字进行映射的&＃xff0c;所以这里所有的名字得正确
相关软件包
node1&＃xff08;192.168.40.80&＃xff09;
node2&＃xff08;192.168.40.81&＃xff09;
echo "192.168.40.80 node1" >> /etc/hosts
echo "192.168.40.81 node2" >> /etc/hosts
java -version
cd /opt/
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ &> /dev/null
cd /usr/local/
mv jdk1.8.0_91/ jdk
vim /etc/profile
#把这个路径放到最下面
export JAVA_HOME&＃61;/usr/local/jdk
export JRE_HOME&＃61;$JAVA_HOME/jre
export CLASSPATH&＃61;.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH&＃61;$JAVA_HOME/bin:$PATH
source /etc/profile
java -version
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload
systemctl enable elasticsearch.service
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
#17行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;集群名字
cluster.name: my-elk-jiqun
#23行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;节点名字&＃xff08;node2修改成node2&＃xff09;
node.name: node1
#33行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;数据存放路径
path.data: /data/elk_data
#37行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;日志存放路径
path.logs: /var/log/elasticsearch
#43行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;不在启动的时候锁定内存
bootstrap.memory_lock: false
#55行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;提供服务绑定的IP地址&＃xff0c;0.0.0.0代表所有地址
network.host: 0.0.0.0
#59行&＃xff1b;取消注释&＃xff1b;侦听端口为9200&＃xff08;默认&＃xff09;
http.port: 9200
#68行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;集群发现通过单播实现&＃xff0c;指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp |grep 9200
在本地宿主机访问 &＃xff08;192.168.40.1&＃xff09;
http://192.168.40.80:9200
http://192.168.40.81:9200
在宿主及上检测集群健康状态
http://192.168.40.80:9200/_cluster/health?pretty
http://192.168.40.81:9200/_cluster/health?pretty
http://192.168.40.80:9200/_cluster/state?pretty
http://192.168.40.81:9200/_cluster/state?pretty
此插件用于集群得管理
yum -y install gcc gcc-c&＃43;&＃43; make
上传软件包 node-v8.2.1.tar.gz 到/opt
cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j4 && make install
上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install
vim /etc/elasticsearch/elasticsearch.yml
......
#-------末尾;添加以下内容--------
http.cors.enabled: true
http.cors.allow-origin: "*"
#-----------参数解释-----------------------------
http.cors.enabled: true #开启跨域访问支持&＃xff0c;默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch.service
必须在解压后的 elasticsearch-head 目录下启动服务&＃xff0c;进程会读取该目录下的 gruntfile.js 文件&＃xff0c;否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
##以下为运行界面
> elasticsearch-head&＃64;0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
elasticsearch-head 监听的端口是 9100
#这里输入回车
netstat -natp |grep 9100
在宿主机192.168.40.1上访问
http://192.168.40.80:9100
在Elasticsearch 后面的栏目中输入
http://192.168.40.80:9200
http://192.168.40.81:9100
在Elasticsearch 后面的栏目中输入
http://192.168.40.81:9200
curl -XPUT &＃39;localhost:9200/index-demo/test/1?pretty&pretty&＃39; -H &＃39;content-Type: application/json&＃39; -d &＃39;"user":"raindrop","mesg":"goodbye world"&＃39;
在宿主机上输入地址
http://192.168.40.80:9100
yum -y install httpd
systemctl start httpd
查看
java -version ###如果没有装 安装yum -y install java
上传logstash-5.5.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
#建立logstash软连接
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
字段描述解释&＃xff1a;
-f 通过这个选项可以指定logstash的配置文件&＃xff0c;根据配置文件配置logstash
-e 后面跟着字符串 该字符串可以被当做logstash的配置&＃xff08;如果是” ”,则默认使用stdin做为输入、stdout作为输出&＃xff09;
-t 测试配置文件是否正确&＃xff0c;然后退出
logstash -e &＃39;input stdin output stdout &＃39;
logstash -e &＃39;input stdin output stdout codec&＃61;>rubydebug &＃39;
logstash -e &＃39;input stdin output elasticsearch hosts&＃61;>["192.168.40.80:9200"] &＃39;
宿主机上输入
http://192.168.40.80:9100
chmod o&＃43;r /var/log/messages #给此目录得其他用户(o)增加读&＃xff08;r&＃xff09;的权限
ll /var/log/messages
vim /etc/logstash/conf.d/system.conf #配置配置文件
input #输入
file
path &＃61;> "/var/log/messages" #路径&＃xff1a;/var/log/messages
type &＃61;> "system" #类型 system
start_position &＃61;> "beginning" #开始位置beginning
output #输出到
elasticsearch #es服务器
hosts &＃61;> ["192.168.40.80:9200"] #服务器
index &＃61;> "system-%&＃43;YYYY.MM.dd" #索引 system-日期
systemctl restart logstash.service
上传kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
#2行&＃xff1b;取消注释&＃xff1b;kibana打开的端口&＃xff08;默认5601&＃xff09;
server.port: 5601
#7行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;kibana侦听的地址
server.host: "0.0.0.0"
#21行&＃xff1b;取消注释&＃xff0c;修改&＃xff1b;和elasticsearch建立联系
elasticsearch.url: "http://192.168.40.80:9200"
#30行;取消注释&＃xff1b;在elasticsearch中添加.kibana索引
kibana.index: ".kibana"
systemctl start kibana.service
systemctl enable kibana.service
在宿主机192.168.40.1上访问 node1 5601端口
首次登录创建一个索引 名字&＃xff1a;system-* &＃xff08;这是对接系统日志文件&＃xff09;
然后点最下面的出面的create 按钮创建&＃xff0c;这里如果出错&＃xff0c;是无法创建的。
在宿主机上输入&＃xff1a;
http://192.168.40.80:5601/
apache&＃xff08;192.168.40.88&＃xff09;
cd /etc/logstash/conf.d/
vim apache_log.conf
input
file
path &＃61;> "/etc/httpd/logs/access_log"
type &＃61;> "access"
start_position &＃61;> "beginning"
file
path &＃61;> "/etc/httpd/logs/error_log"
type &＃61;> "error"
start_position &＃61;> "beginning"
output
if [type] &＃61;&＃61; "access"
elasticsearch
hosts &＃61;> ["192.168.40.80:9200"]
index &＃61;> "apache_access-%&＃43;YYYY.MM.dd"
if [type] &＃61;&＃61; "error"
elasticsearch
hosts &＃61;> ["192.168.40.80:9200"]
index &＃61;> "apache_error-%&＃43;YYYY.MM.dd"
/usr/share/logstash/bin/logstash -f apache_log.conf
打开浏览器 输入http://192.168.40.80:5601
点击左下角有个management选项—index patterns—create index pattern
分别创建apache_error-* 和 apache_access-* 的索引
部署成功。
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有 
